许多应用包括具有事件发生时间的事件数据序列。预测发生时间的模型在社交网络,金融交易,医疗保健和人类流动等各种应用程序中起着重要作用。最近的作品引入了基于神经网络的基于点的点过程,用于建模事件时间,并显示在预测事件时提供最先进的性能。然而,在量化预测性不确定性并且倾向于在外推期间产生过度自信预测的神经网络。适当的不确定性量化对于许多实际应用至关重要。因此,我们提出了一种新型点过程模型,贝叶斯神经鹰过程,利用贝叶斯模型的不确定性建模能力和神经网络的泛化能力。该模型能够通过事件发生时间预测认识性不确定性,并且在模拟和现实世界数据集上对其有效性进行了证明。
translated by 谷歌翻译
Reduced system dependability and higher maintenance costs may be the consequence of poor electric power quality, which can disturb normal equipment performance, speed up aging, and even cause outright failures. This study implements and tests a prototype of an Online Sequential Extreme Learning Machine (OS-ELM) classifier based on wavelets for detecting power quality problems under transient conditions. In order to create the classifier, the OSELM-network model and the discrete wavelet transform (DWT) method are combined. First, discrete wavelet transform (DWT) multi-resolution analysis (MRA) was used to extract characteristics of the distorted signal at various resolutions. The OSELM then sorts the retrieved data by transient duration and energy features to determine the kind of disturbance. The suggested approach requires less memory space and processing time since it can minimize a large quantity of the distorted signal's characteristics without changing the signal's original quality. Several types of transient events were used to demonstrate the classifier's ability to detect and categorize various types of power disturbances, including sags, swells, momentary interruptions, oscillatory transients, harmonics, notches, spikes, flickers, sag swell, sag mi, sag harm, swell trans, sag spike, and swell spike.
translated by 谷歌翻译
Chromosome analysis is essential for diagnosing genetic disorders. For hematologic malignancies, identification of somatic clonal aberrations by karyotype analysis remains the standard of care. However, karyotyping is costly and time-consuming because of the largely manual process and the expertise required in identifying and annotating aberrations. Efforts to automate karyotype analysis to date fell short in aberration detection. Using a training set of ~10k patient specimens and ~50k karyograms from over 5 years from the Fred Hutchinson Cancer Center, we created a labeled set of images representing individual chromosomes. These individual chromosomes were used to train and assess deep learning models for classifying the 24 human chromosomes and identifying chromosomal aberrations. The top-accuracy models utilized the recently introduced Topological Vision Transformers (TopViTs) with 2-level-block-Toeplitz masking, to incorporate structural inductive bias. TopViT outperformed CNN (Inception) models with >99.3% accuracy for chromosome identification, and exhibited accuracies >99% for aberration detection in most aberrations. Notably, we were able to show high-quality performance even in "few shot" learning scenarios. Incorporating the definition of clonality substantially improved both precision and recall (sensitivity). When applied to "zero shot" scenarios, the model captured aberrations without training, with perfect precision at >50% recall. Together these results show that modern deep learning models can approach expert-level performance for chromosome aberration detection. To our knowledge, this is the first study demonstrating the downstream effectiveness of TopViTs. These results open up exciting opportunities for not only expediting patient results but providing a scalable technology for early screening of low-abundance chromosomal lesions.
translated by 谷歌翻译
Human activity recognition (HAR) using IMU sensors, namely accelerometer and gyroscope, has several applications in smart homes, healthcare and human-machine interface systems. In practice, the IMU-based HAR system is expected to encounter variations in measurement due to sensor degradation, alien environment or sensor noise and will be subjected to unknown activities. In view of practical deployment of the solution, analysis of statistical confidence over the activity class score are important metrics. In this paper, we therefore propose XAI-BayesHAR, an integrated Bayesian framework, that improves the overall activity classification accuracy of IMU-based HAR solutions by recursively tracking the feature embedding vector and its associated uncertainty via Kalman filter. Additionally, XAI-BayesHAR acts as an out of data distribution (OOD) detector using the predictive uncertainty which help to evaluate and detect alien input data distribution. Furthermore, Shapley value-based performance of the proposed framework is also evaluated to understand the importance of the feature embedding vector and accordingly used for model compression
translated by 谷歌翻译
意见摘要是创建摘要的任务,以获取用户评论中的流行意见。在本文中,我们介绍了Geodesic Summarizer(GeoSumm),这是一种新型系统,可执行无监督的提取意见摘要。 GeoSumm涉及基于编码器的表示模型,该模型将文本表示为潜在语义单元的分布。 GeoSumm通过在多个解码器层上对预训练的文本表示进行字典学习来生成这些表示。然后,我们使用这些表示形式使用新型的基于测量距离的评分机制来量化审查句子的相关性。我们使用相关得分来确定流行意见,以构成一般和特定方面的摘要。我们提出的模型GeoSumm在三个意见摘要数据集上实现了最先进的性能。我们执行其他实验来分析模型的功能,并展示跨不同域{\ x}的概括能力。
translated by 谷歌翻译
FP8是加速深度学习训练推论以外的16位格式的自然发展。在本文中,我们提出了一个8位浮点(FP8)二进制互换格式,该格式由两个编码组成-E4M3(4位指数和3位Mantissa)和E5M2(5位指数和2位指数和2位Mantissa)。尽管E5M2遵循IEEE 754惯例代表特殊值的惯例,但E4M3的动态范围是通过不代表无限态,只有一个Mantissa Bit-Pattern来扩展NAN。我们证明了FP8格式对各种图像和语言任务的功效,从而有效地匹配了16位培训课程所达到的质量。我们的研究涵盖了主要的现代神经网络体系结构 - CNN,RNN和基于变压器的模型,使所有超参数与16位基线训练课程保持不变。我们的培训实验包括大型,最多175b参数,语言模型。我们还检查了使用16位格式训练的语言模型的FP8训练后定量化,该格式抗拒固定点INT8量化。
translated by 谷歌翻译
在基于视觉的辅助技术中,具有不同新兴主题的用例,例如增强现实,虚拟现实和人类计算机互动等不同的主题中的用例中,自动眼目光估计是一个重要问题。在过去的几年中,由于它克服了大规模注释的数据的要求,因此人们对无监督和自我监督的学习范式的兴趣越来越大。在本文中,我们提出了Raze,Raze是一个带有自我监督的注视表示框架的区域,该框架从非宣传的面部图像数据中发挥作用。 Raze通过辅助监督(即伪凝视区域分类)学习目光的表示,其中目的是通过利用瞳孔中心的相对位置将视野分类为不同的凝视区域(即左,右和中心)。因此,我们会自动注释154K Web爬行图像的伪凝视区标签,并通过“ IZE-NET”框架学习特征表示。 “ IZE-NET”是基于胶囊层的CNN体​​系结构,可以有效地捕获丰富的眼睛表示。在四个基准数据集上评估了特征表示的判别性能:洞穴,桌面,MPII和RT-GENE。此外,我们评估了所提出的网络在其他两个下游任务(即驱动器凝视估计和视觉注意估计)上的普遍性,这证明了学习的眼睛注视表示的有效性。
translated by 谷歌翻译
在过去的几年中,未配对的图像DeNoising取得了有希望的发展。无论表现如何,方法都倾向于严重依赖潜在的噪声属性或任何并不总是实用的假设。另外,如果我们可以从结构的角度而不是噪声统计数据解决问题,那么我们可以实现更强大的解决方案。通过这种动机,我们提出了一个自制的剥夺计划,该计划是不成功的,依赖于空间降解,然后进行正规化的精炼。我们的方法比以前的方法显示出显着改善,并且在不同的数据域上表现出一致的性能。
translated by 谷歌翻译
垃圾邮件是困扰网络规模的数字平台的一个严重问题,可促进用户内容创建和分发。它损害了平台的完整性,推荐和搜索等服务的性能以及整体业务。垃圾邮件发送者从事各种与非垃圾邮件发送者不同的虐待和回避行为。用户的复杂行为可以通过富含节点和边缘属性的异质图很好地表示。学会在网络尺度平台的图表中识别垃圾邮件发送者,因为其结构上的复杂性和大小。在本文中,我们提出了塞纳河(使用相互作用网络检测垃圾邮件检测),这是一个新的图形框架上的垃圾邮件检测模型。我们的图形同时捕获了丰富的用户的详细信息和行为,并可以在十亿个尺度的图表上学习。我们的模型考虑了邻域以及边缘类型和属性,从而使其可以捕获广泛的垃圾邮件发送者。塞纳河(Seine)经过数千万节点和数十亿个边缘的真实数据集的培训,获得了80%的召回率,并以1%的假阳性率获得了80%的召回率。塞纳河(Seine)在公共数据集上的最先进技术实现了可比的性能,同时务实可用于大规模生产系统。
translated by 谷歌翻译
现有的数据依赖性哈希方法使用具有数百万个参数的大型骨干网络,并且计算复杂。现有的知识蒸馏方法使用深(教师)模型的逻辑和其他功能,并将其作为紧凑型(学生)模型的知识,这要求教师的网络在上下文中与上下文中的学生模型平行进行微调。在目标环境中培训老师需要更多的时间和计算资源。在本文中,我们提出了不知道知识蒸馏的上下文,该蒸馏使用教师模型的知识而不在目标环境上进行微调。我们还提出了一种新的高效学生模型架构,用于知识蒸馏。提出的方法遵循两步过程。第一步涉及在不知道教师模型的不知道知识蒸馏的情况下预先培训学生模型。第二步涉及在图像检索的上下文上微调学生模型。为了显示拟议方法的功效,我们比较了检索结果。参数和否。在不同检索框架下,学生模型的运营与教师模型的运作,包括Deep Cauchy Hashing(DCH)和中央相似性量化(CSQ)。实验结果证实,所提出的方法在检索结果与效率之间提供了有希望的权衡。本文中使用的代码通过\ url {https://github.com/satoru2001/cukdfir}公开发布。
translated by 谷歌翻译